ด้านชีวิตครอบครัว ในปี พ.ศ. 2457 ได้สมรสครั้งแรกกับคุณนายกิมบ๊วย มีบุตร-ธิดา 3 ท่าน คือ

• นายสังข์เวียน ดุละลัมพะ
• นางสายสวาท ยอดมณี
• นายเฉลิม ดุละลัมพะ

เมื่อคุณนายกิมบ๊วย ถึงแก่กรรมแล้ว ต่อมาในปี พ.ศ. 2475 จึงได้สมรสอีกครั้ง กับ คุณผาด สินธุสาร ภายหลังคือ นางพิจารณ์พลกิจ (ผาด ดุละลัมพะ) โดยมีเจ้าคุณพระประยูรวงศ์ พระสนมเอกในรัชกาลที่ 5 เป็นเจ้าภาพสมรสให้ ณ วังสวนสุพรรณ สามเสน กรุงเทพฯ และได้ร่วมทุกข์สุขกันจนสิ้นชีวิต แต่ไม่มีบุตรธิดาด้วยกัน แต่ได้อนุเคราะห์หลานมาเป็นบุตรบุญธรรม 4 คน คือ

• นางผาสุข สุนทรขจิต
• นายรุ่งเรือง ดุละลัมพะ
• นายดุละดิลก ดุละลัมพะ
• เด็กหญิงวราทร ดุละลัมพะ

พลตำรวจตรี พระพิจารณ์พลกิจ ป่วยด้วยโรคปอด และเบาหวาน มาตั้งแต่รับราชการ ได้พยายามเข้ารับการรักษาจากแพทย์ผู้เชียวชาญหลายท่าน เช่น ศ.นพ.ประเสริฐ กังสดาลย์ และ พ.ต.หลวงนิตย์เวชช์วิศิษฐ์ ฯลฯ แต่ก็ทรุดลงเรื่อยมา จนถึงแก่กรรม ณ บ้านพึ่งประยูร เลขที่ 950 ถนนนครไชยศรี ดุสิต กรุงเทพ เมื่อวันที่ 17 พฤศจิกายน พ.ศ. 2502 รวมอายุ 67 ปี 10 เดือน 8 วัน